Market volatility : can machine learning methods enhance volatility forecasting?

This dissertation aims to test whether the use of machine learning (ML) techniques can improve volatility forecasting accuracy. More specifically, if it can beat the best econometric model, the Heterogeneous Autoregressive model of Realized Volatility (HAR-RV). Using S&P 500 Index data from May-2007 to August-2022, the superiority of the HAR-RV was tested and attested against competing econometric models EWMA and GARCH(1,1). Next, the performance of the ML Artificial Neural Network algorithms Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) are compared to the performance of the econometric models. Five different variable sets are tested for the ML models. It is found that while both ML models are able to beat the EWMA and GARCH(1,1) models by a significant margin, the HAR-RV model still outperforms LSTM and GRU. Moreover, an analysis is conduced on the models’ predictions on the period corresponding to the Covid-19 crisis. The results did not show any evidence suggesting that ML methods have a particular advantage at predicting during high volatility events. Finally, a plausible cause that could undermine the remarkable qualities of the ML methods in the aim of volatility forecasting is discussed. It is found that the rigorous set of conditions needed to be met for the proper setup of ML models are very difficult to be met using financial data, which hinders the aptitude of ML for this purpose.Esta tese visa testar se o uso de técnicas de Machine Learning (ML) pode melhorar a precisão da previsão da volatilidade. Mais especificamente, se estes algoritmos conseguem superar o melhor modelo econométrico, o Heterogeneous Autoregressive model of Realized Volatility (HAR-RV). Usando dados do Índice S&P 500 de Maio-2007 a Agosto-2022, a superioridade do HAR-RV perante os modelos econométricos concorrentes EWMA e GARCH(1,1), foi testada e confirmada. Em seguida, o desempenho dos algoritmos ML de redes neurais artificiais de Long Short-Term Memory (LSTM) e Gated Recurrent Unit (GRU) são comparados com o desempenho dos modelos econométricos tradicionais. Cinco conjuntos diferentes de variáveis são testados para os modelos ML. Verifica-se que enquanto ambos os modelos ML são capazes de superar os modelos EWMA e GARCH(1,1) por uma margem significante, o modelo HARRV ainda tem um desempenho superior ao LSTM e ao GRU. É ainda feita uma análise das previsões dos modelos durante o período correspondente à crise do Covid-19. Os resultados não mostram qualquer evidência que sugira que os métodos ML têm uma particular vantagem durante eventos de alta volatilidade. Finalmente, é discutida uma possível causa que poderá debilitar as sofisticadas qualidades dos métodos ML para a finalidade de previsão de volatilidade. Verifica-se que o conjunto rigoroso de condições necessárias para a correcta configuração dos modelos ML é muito difícil de se cumprir utilizando series temporais de volatilidade de mercado, o que prejudica a aptidão dos modelos ML para esta finalidade